Was untersuchen psychometrische Test? Persönlichkeitsmerkmale Welche Phase folgt auf die Erstellung des Testentwurfs? Die Testvalidierung Welche Phase folgt auf die Testvalidierung? Normierung Welche 3 Gebiete des Testanwendung werden unterschieden? Einzelfall (Wie smart ist mein Kind?) Wissenschaft (Studien) Vorhersage (Eignung) Unterschied manifeste vs latente Variable? manifest: beobachtbar latent: nicht beobachtbar Wie messen psychologische Tests latente Variablen? Ein Zusammenhang zwischen den latenten Variablen und den Itemantworten wird hergestellt. Wann unterscheidet sich die Itemantworten von zwei Personen bei einer fehlerfreien Messung? Bei unterschiedlicher Ausprägung der latenten Variable Was muss bekannt sein, um von den Itemantworten auf die Ausprägung der latenten Variable schließen zu können? Modellparameter Wieso ist die Beziehung zwischen latenter Variable und Itemantwort nicht deterministisch? Fehlervariable → Die gleiche Person antwortet bei Wiederholung eventuell unterschiedlich auf die selbe Frage → Beziehung ist stochastisch Was gibt der Achsenabschnitt in einem linearen Modell an? Den durchschnittlichen Wert der Itemantwort, wenn der Wert der latenten Variable auf 0 ist. "Wie kann man den ""wahren Wert einer Person auf Item i"" auffassen?" Die durchschnittliche Itemantwort der Person auf Item i (wenn man den Test unendlich oft durchführen würde) Welcher Wert ist groß, wenn eine Person bei mehrmaliger Beantwortung des Items sehr unterschiedliche Antworten gibt? Die Varianz der Itemantworten der Person auf dem Item Inwiefern kann man bei der Testtheorie von einem doppelten Zufallsexperiment sprechen? Erst wird eine Person zufällig gezogen, dann bearbeitet diese den Test Wie unterscheidet sich taui von tauiPerson? taui ist eine Zufallsvariable tauiPerson ist eine Konstante Wie ist die Fehlervariable definiert (in Worten)? Eine Zufallsvariable, die für die Abweichung zwischen dem zufälligen wahren Wert und der Itemantwort steht. Was ist die Kovarianz des zufälligen wahren Wertes eines Items mit der Fehlervariable dieses Items (oder die eines anderen Items)? 0 Wie kann man mathematische Folgerungen durch Empirik widerlegen? Gar nicht Wie unterscheiden sich Modellannahmen von testtheoretischen Axiomen? Modellannahmen können falsch sein → Empirische Überprüfung In welchen 2 Aspekten unterscheiden sich die verschiedenen testtheoretischen Modelle? 1. Der Zusammenhang der zufälligen latenten Variable mit den zufälligen wahren Werten 2. Die Eigenschaften der Fehlervariable Was ist Objektivität? Ein psychologischer Test ist objektiv, wenn die Durchführung, Auswertung und Interpretation der resultierenden Ergebnisse nicht variieren, auch wenn unterschiedliche Personen den Test durchführen. Wann ist ein Test skalierbar? Wenn er die Zuordnung der Messwerte zu den Personen auf Basis eines empirisch nachgewiesenen testtheoretischen Modells geschieht. "Was bedeutet es, wenn ein Modell ""richtig"" für einen konkreten psychologischen Test ist?" Für das Modell sind alle Annahmen erfüllt Welche Gütekriterien prüft man, wenn Skalierung nicht gegeben ist? Keine, Skalierung ist die Voraussetzung für das komplette weitere Vorgehen Wann kann Skalierung ignoriert werden? Psychologische Tests, die gar keine latenten Variablen messen wollen, sondern nur bestimmte Kriterien vorhersagen. "Wie testen wir Skalierung ""indirekt""?" Modellannahmen sind nicht direkt prüfbar, da sie Aussagen über nicht beobachtbare Variablen machen. Wir leiten stattdessen aus diesen Annahmen Folgerungen (statistische Hypothesen) ab, die wir dann mit Hypothesentests überprüfen können. In welcher Struktur werden Hypothesen zu der Skalierung typischerweise getestet? Omnibustest H0: Alle Folgerungen sind erfüllt H1: Mindestens eine Forderung ist nicht erfüllt Was ist ein alternativer Name für den Omnibustest bei der Skalierung? Modelltest Welchen Einfluss hat die Stichprobengröße auf den Modelltest? Bei einer großen Stichprobe reagiert der Omnibustest sehr sensitiv auf kleine Abweichungen vom perfekten Modell → Wird eher signifikant → Modell wahrscheinlicher abgelehnt Welche 2 Möglichkeiten haben wir, wenn mehrere Modelle auf Basis des Modelltests angenommen werden? Das am wenigsten strenge verwenden (höhere Komplexität, aber keine potentiellen Fehlentscheidungen) Das strengste verwenden (niedrige Komplexität, potentielle Fehlentscheidungen) Müssen wir bei mehreren Modelltests alpha-Fehlerkorrekturen durchführen? Nein. Da wir auf die H0 hoffen, müssen wir, wenn überhaupt, den Fehler 2. Art kontrollieren. Was ist Personenhomogenität? Die Annahme, dass das Modell für alle Mitglieder der Population gleichermaßen gilt. Was sind die 3 möglichen Ursachen, wenn keines der Modelle den Modelltest besteht? 1. Die latente Variable existiert nicht 2. Die latente Variable kann nicht durch den vorliegenden Test erfasst werden 3. Der Zusammenhang zwischen Items und latenter Variable ist nicht wie im Test spezifiziert Was ist zu tun, wenn der Modelltest fehlschlägt, weil die latente Variable nicht so mit den Items zusammenhängt, wie im Modell spezifiziert? Ein komplexeres Modell wählen Was ist zu tun, wenn der Modelltest fehlschlägt, weil die latente Variable nicht durch den vorliegenden Test zu erfassen ist? Modelltests verwenden, um Problemitems zu identifizieren Was tun, wenn gar kein Modell im Modelltest passt? "Fit Indizes bestimmen, und das ""am besten"" passende Modell wählen." Was ist die Faktorenanalyse? Ein statistisches Verfahren zur Schätzung der Parameter ein- oder mehrdimensionaler Testmodelle. Inwiefern unterscheiden sich die EFA und CFA in den Modellen, für die sie Parameter schätzen? CFA: (nahezu) beliebig EFA: ein- oder mehrdimensional tau-kongenerisch Was ist eine Einfachstruktur? Jedes Item in der Population weist nur auf einem Faktor einen von Null verschiedenen Steigungsparameter auf. Was ist der Unterschied zwischen Messmodell und Strukturmodell? Messmodell: Beziehung manifest-latent Strukturmodell: Beziehung latent-latent Inwiefern unterscheiden sich CFA und EFA im Hinblick auf die Ausgangsmatrizen? EFA: Korrelationsmatrix CFA: Kovarianzmatrix Was beschreibt der Value of the Fitting-Function? Die minimale Diskrepanz zwischen empirischer Kovarianzmatrix und modellgeschätzter Kovarianzmatrix. Wofür wird die VFF verwendet? Modelltest für Modellfit Was geben der SRMR und RMSEA an? Indizes, wie stark eine Modell von einem perfekten Modell abweicht Was gibt der CFI an? Wie stark das Modell von dem schlechtest möglichen Modell abweicht Wie kann man sich für ein Modell entscheiden, wenn kein Modell unter den Cutoffs der Indizes liegt? Ranking nach BIC → niedrigsten Wert nehmen Welche 2 Faktoren werden beim BIC berücksichtigt? Guter Fit und Sparsamkeit (wenig komplex) Welche 2 typischen Methoden zur Schätzung der Anzahl der Faktoren eines Modells sollte man nicht benutzen? Scree Plot Eigenwert > 1 Regel Welche Methode sollte man zur Schätzung der Anzahl der Faktoren eines Modells benutzen? Parallelanalyse Was gibt die Kommunalität an? Wichtigkeit eines Items Was gibt der Eigenwert bei der Faktoranalyse an? Die Wichtigkeit des Faktors Woraus werden Kommunalität und Eigenwerte berechnet? Anfangslösung Was ist eine Hauptladung? Die Ladung eines Items auf dem Faktor, die am höchsten ausfällt und signifikant ist Was ist eine Nebenladung? Eine Ladung eines Items auf dem Faktor, die nicht am höchsten ausfällt, aber signifikant ist Wie nennt man die Tabelle der Schätzwerte und Parameter jeweil vor und nach der Rotation? Faktormatrix Mustermatrix Was zeichnet eine gut interpretierbare Lösung einer Rotation aus? Sie ist möglichst Nahe an einer Einfachstruktur. Wie unterscheiden sich orthogonale von obliquen Rotationen? orthogonal: Faktoren dürfen nicht korrelieren oblique: Faktoren dürfem korrelieren Warum verwenden wir bei psychometrischen Tests immer oblique Rotationen (3 Gründe)? Lösung näher an Einfachstruktur In der Psychologie korrelieren Faktoren oft Orthogonale Rotation ist ein Spezialfall der obliquen (Wenn keine Korrelation zwischen Faktoren → identisch zu orthogonaler) Ist die oblimin-Rotation orthogonal oder oblique? oblique Ist die Varimax-Rotation orthogonal oder oblique? orthogonal Ist die Promax-Rotation orthogonal oder oblique? oblique Was prüfen Modifikationsindizes? An welcher Stelle die Freisetzung eines Parameters zu einer signifikanten Modellverbesserung führen würde (> 3.84 Chi-Quadrat) Was gibt die Reliabilität an? Die Genauigkeit mit der ein psychologischer Test ein Merkmal erfasst Was ist das Problem damit, die Varianz der Fehlervariable als Maß für die Reliabilität zu nehmen? Sie ist abhängig von der Einheit des Items und hat keinen festen Wertebereich Welches allgemeine Maß verwendet man für die Reliabilität eines Items? Anteil der Varianz der wahren Werte an der Varianz der Itemantworten Warum ist die Reliabilität für alle Modelle unterschiedlich definiert? Wir können die Varianz der wahren Werte nicht schätzen, da wir diese nicht beobachten können Welche Auswirkung hat die Rotation auf die Reliabilität? Keine Was ist gemeint, wenn von der Reliabilität eines Tests die Rede ist? Die Reliabilität des Itemmittelwerts Was passiert mit der Reliabilität des Itemmittelwerts beim parallelen Modell, wenn man ein Item hinzufügt? Sie steigt Wann darf man ein Item entfernen, um die Reliabilität des Tests zu erhöhen? Wenn die Inhaltsvalidität dadurch nicht gefährdet wird Wie verhält sich Cronbachs Alpha zu McDonalds Omega? Cronbachs Alpha stellt eine untere Schranke für McDonalds Omega dar? Wie bestimmt man am sinnvollsten die Reliabilität eines mehrdimensionalen tau-kongenerischen Modells, wenn eine Einfachstruktur vorliegt? Die Items anhand der Struktur in mehrere eindimensionale tau-kongenerische Modelle aufteilen und die Reliabilität jeweils einzeln bestimmen (ein Score pro latente Variable). Was sind die Methoden der inneren/internen Konsistenz? Methoden zur Schätzung des Itemmittelwerts abhängig vom geltenden Modell (Spearman-Brown, Cronbachs Alpha, McDonalds Omega) Wie funktioniert die Split-Half-Methode? "Items eines Tests in zwei Hälften aufteilen → Mittelwert jeder Testhälfte ist ein ""Item"" → paralleles Modell wird angenommen → Schätzung der Reliabilität nach vereinfachter Spearman Brown" Was ist die Idee hinter der Paralleltest-Methode? "Zwei unterschiedliche Tests zur Erfassung der gleichen latenten Variable → Personen bearbeiten beide → Testergebnisse werden jeweils als ein ""Item"" gewertet → Korrelation berechnen" Was ist das Problem bei der Split-Half-Methode und der Paralleltest-Methode? Wir können die Annahme der Kovarianzgleichheit nicht testen (nur zwei Items zur Verfügung) Was ist ein nomologisches Netzwerk? "Das theoretisch angenommene Beziehungsgeflecht zwischen den latenten Variablen des Tests, anderen Tests und ""messfehlerfreien"" Variablen" Wann muss ein nomologisches Netzwerk aufgestellt werden? VOR der Datenerhebung einer Validierungsstudie Wie nennt sich die Validität, die sich die Zusammenhänge zwischen den latenten Variablen eines Tests ansieht? Faktorielle Validität Wie nennt sich die Validität, die sich die Zusammenhänge zwischen den latenten Variablen mehrerer Tests ansieht? Konstruktvalidität "Wie nennt sich die Validität, die sich die Zusammenhänge zwischen den latenten Variablen eines Tests und ""messfehlerfreien"" Variablen ansieht?" Kriteriumsvalidität Was muss geklärt werden, um zu überprüfen, ob mehrere Tests die gleiche latente Variable messen oder ob mehrere latente Variablen eines Tests identisch sind? "Die ""Struktur"" der Items muss geklärt werden → Parallelanalyse oder Modelltests auf Strukturgleichungsmodelle" Welche Möglichkeit gibt es neben Strukturgleichungsmodellen noch, die Validität eines Tests zu überprüfen? Konfirmatorische Faktorenanalyse → Wir nehmen ein bestimmtes Korrelationsmuster an und überprüfen deskriptiv, ob dieses Muster eingetreten ist Welche Modellannahmen gelten im Rahmen der Validitätsprüfung generell? Die des mehrdimensionalen tau-kongenerischen Modells Welche zusätzliche Annahme müssen wir bei der Validitätsprüfung zwischen latenten Variablen mehrerer Tests treffen? Die Fehler sind nicht nur innerhalb, sondern auch über beide Tests hinweg unkorreliert Wie unterscheidet sich die Inhaltsvalidität von den übrigen Formen der Validität? Sie ist nicht mit statistischen Hypothesen nachzuweisen Was ist die Problematik von Validitätslabels (konvergent, divergent)? Sie werden nicht immer gleich verwendet Wofür sind die Validitätslabels trotz der uneinheitlichen Verwendung dennoch gut? Strukturierung der vielfältigen Hypothesen innerhalb eines nomologischen Netzwerks Warum sind die geschätzten Korrelationen aus konfirmatorischen Faktoranalysen höher als die Pearson-Korrelation? CFA: Korrelation zwischen geschätzten wahren Werten Pearson: Korrelation zwischen messfehlerbehafteten Summen- oder Mittelwerten Warum verwendet man Minderungskorrekturen? In der Praxis werden bei der Validitätsprüfung (Konstrukt, Kriterium) häufig nur Summenwerte korreliert (nicht die latenten Variablen) → Durch die Messfehler werden die Korrelationen zwischen den latenten Variablen unterschätzt "Warum spricht man bei der Minderungskorrektur bei der Konstruktvalidität von einer ""doppelten"" Minderungskorrektur?" Die Korrelation der Summenwerte wird um die Messungenauigkeit beider Summenwerte korrigiert Welche zusätzliche Annahme trifft die Minderungskorrektur? Die Fehlervariablen sind nicht nur innerhalb der Tests, sondern auch über beide Tests hinweg unkorreliert (Das wird mit CFA geprüft, die aber wiederum direkt einen Schätzwert für COR ausgibt, also ist die Korrekturformel hier unnötig) Was ist die Normstichprobe? Eine große Stichprobe (n>400), auf deren Basis das Modell validiert und die Parameter geschätzt werden Mit welchen 2 Mitteln werden Konfidenzintervalle für ThetaPerson aufgestellt? Schätzfunktion für ThetaPerson Standardmessfehler SE dieser Schätzfunktion Was ist ein nützlicheres/intuitivers Maß für die Genauigkeit eine Tests als die Reliabilität des Summenwerts? Der Standardmessfehler Welche Annahme müssen wir treffen, damit das Konfidenzintervall über die Ausprägung der latenten Variable das gewünschte Konfidenzniveau hat? Die Itemantworten der festen Person sind unabhängig und normalverteilt Wie geht man in der Einzelfalldiagnostik bei mehrdimensionalen tau-kongenerischen Modellen vor? Wenn Einfachstruktur vorliegt → in mehrere eindimensionale Modelle aufteilen Sonst komplex Wann muss man bei der Einzelfalldiagnostik auf approximative Konfidenzintervalle zurückgreifen? Wenn es keine Schätzwerte für den Standardmessfehler gibt und man diesen auch nicht berechnen kann Was ist der Nachteil an approximativen Konfidenzintervallen bei der Einzelfalldiagnostik? Sie sind in vielen Fällen deutlich breiter als die modellbasierten Intervalle Welcher Unterschied ergibt sich bei der Interpretation des Konfidenzintervalls zwischen dem tau-kongenerischen und anderen Modellen? Beim tau-kongenerischen ist der Erwartungswert und die Varianz festgesetzt, die Interpretation des Intervalls ist direkt einfacher (bei anderen Modellen müssen die Werte aus der Normstichprobe geschätzt werden) Was lässt sich über das Konfidenzniveau in der praktischen Anwendung der Einzelfalldiagnostik sagen? Darf oft auch niedriger als 95% sein, 80% ist oft ausreichend Was sind Normwerte? Vorgegebene Werte für den Erwartungswert und die Varianz von psychologischen Testergebnissen, in die Testergebnisse überführt werden können, um Vergleichbarkeit zu vereinfachen Was ändert sich bei der Umrechnung von Schätzwerte in Normwerte auch? Der Standardmessfehler Was ist das Problem mit Protzenträngen? Sie verwenden nur einen Punktschätzwert für die latente Variable Was kann die Umrechnung von Schätzwerten in Normwerte nicht ändern? Die Interpretation bezüglich durchschnittlich, unterdurchschnittlich etc. Was sind kritische Differenzen? Schlechte Alternativen zu Hypothesentests in der Einzelfalldiagnostik (Wenn sich die Werte um X unterscheiden, kann man von einem signifikanten Unterschied) Im parallelen Modell muss die Varianz der Fehlervariablen gleich sein. Was muss hingegen nicht gleich sein? Die Fehlervariablen selber Wie hängen die zufällige latente Variable und der zufällige wahre Wert auf den Items beim parallelen Modell zusammen? Entsprechen sich Welche Annahme machen alle Modelle? Die Fehlervariablen der Items korrelieren nicht untereinander Wie wird die itemspezifische Konstante in den essentiellen Modellen noch genannt? Itemparameter (Itemschwierigkeitsparameter) Warum werden Normierungen/Festlegungen in Modellen getroffen? Um die Parameter eindeutig bestimmen zu können (Damit das lineare Gleichungssystem eine eindeutige Lösung hat) Wie kann man Unterschiede in den Steigungsparamtern interpretieren? Die Itemantworten werden durch die latente Variable unterschiedlich gut erklärt Wenn ein strenges Modell gilt, was gilt dann automatisch auch? Jedes weniger strenge Modell Für welche Art von Itemantworten sind unsere Modelle ausgelegt? Stetige! (normalerweise finden wir aber nur diskrete Fragebögen, deshalb verwenden wir die Modelle approximativ) Was ist der erste Schritt der Fragebogenkonstruktion? Die Konstuktdefinition → Bilden einer Arbeitsdefinition über die zu messenden psychologischen Phänomene Welche 2 Ansätze gibt es zur Konstruktdefinition? Top-down: Ausgehend vom allgemeinen Konstrukt zur spezifischen Arbeitsdefinitionen Bottom-up: Aus Items heraus ein Konstrukt erstellen Was ist die Idee der Prototypen bei der Konstruktdefinition? Frage stellen: Bei welchen Personen im Bekanntenkreis ist das Konstrukt besonders ausgeprägt? Wie lassen sich diese Personen beschreiben? Welche 3 Dinge müssen beim Erstellen der Konstruktdefinition festgelegt werden? Art der Indikatoren Zielgruppe Testziel Welche 3 Arten von Indikatoren gibt es? T-Daten → Objektive Indikatoren _Testantworten Q-Daten → Subjektive Indikatoren _ Daten aus Fragebögen L-Daten → Verhaltensbeobachtung (subj/obj) Bei welcher Festlegung sind Fairness und sprachliche Angemessenheit wichtig? Bei der Festlegung der Zielgruppe Was sind die 3 typischen unterschiedlichen Testziele? Bestimmung von Eigenschafts- oder Fähigkeitsausprägung Gruppentrennung Wissenstest Was sind Facetten eines Konstrukts? Die inhaltlichen Bereiche, die das Konstrukt ausmachen Was ist die Critical-Incident Technik? Itemkonstruktion, bei der man Person auffordert, sich an einen relevanten Zeitpunkt für eine bestimmte Facette zu erinnern Welcher 3er-Einteilung von Indikatoren schlagen Angleitner, John und Löhr vor? prinzipiell beobachtbar (Ich tue oft x) Internal und nicht prinzipiell beobachtbar (Ich denke oft x) Symptome (Ich schwitze viel) Was ist die Definition einer Ratingskala? Eine Frage mit vorgegebenem Antwortformat mit mehr als zwei geordneten Antwortkategorien Wie viele Stufen sollten Ratingskalen für optimale Reliabilität haben (nach Empirik)? 5 bis 7 Welche 2 Gründe gibt es, alle Antwortkategorien einer Ratingskala zu beschriften? Höhere Reliabilität Reduzierung des extremen Antwortstils Was ist der Unterschied zwischen unipolaren und bipolaren Skalen? Unipolar: 0...7 (Beginn bei Nullpunkt) Bipolar -3..3 (zwei Extrempunkte symmetrisch um die Skalenmitte) Was sind negativ gepolte Items? Items, die negativ mit dem Konstrukt korrelieren Was ist das Ziel des kognitiven Interviews? Interne kognitive Prozesse der VPNs verstehen, wenn diese die Fragen beantworten → Potenzielle Probleme identifizieren Was ist die Technik des lauten Denkens beim kognitiven Interview? VPN liest die Fragen des Fragebogens laut, überlegt laut, formuliert Antwort laut Was ist die Technik des Paraphrasierens beim kognitiven Interview? VPN fasst die Fragen nochmal in eigenen Worten zusammen